Python常用功能函数汇总

1.按行写字符串到文件中

import sys, os, time, json

def saveContext(filename,*name):

format = '^'

context = name[0]

for i in name[1:]:

context = context + format + str(i)

context = str(context).replace('(','(').replace(')',')').replace('，',',').replace('：',':')

#去除首位空格

filename = filename.strip()

#读取目录名称

path = os.path.dirname(filename)

#如果目录不存在则创建目录

if not os.path.exists(path):

os.makedirs(path)

#读取文件名称

name = os.path.basename(filename)

fp = open(filename,'a')

fp.write(context+'\n')

fp.close()

2.创建初始化浏览器

#coding:utf-8

import sys, os, time, json

import urllib2

from pyquery import PyQuery as pq

from lxml import etree

from selenium import webdriver

from urlparse import urljoin

#设置utf-8模式

reload(sys)

sys.setdefaultencoding( "utf-8" )

#初始化创建浏览器

def init_drive():

ua = "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.3 Safari/537.36"

cap = webdriver.DesiredCapabilities.PHANTOMJS

cap["phantomjs.page.settings.resourceTimeout"] = 20000

cap["phantomjs.page.settings.loadImages"] = True

cap["phantomjs.page.settings.disk-cache"] = True

cap["phantomjs.page.settings.userAgent"] = ua

cap["phantomjs.page.customHeaders.User-Agent"] =ua

cap["phantomjs.page.customHeaders.Referer"] = "http://tj.ac.10086.cn/login/"

#driver = webdriver.PhantomJS(executable_path='/home/shutong/phantomjs/bin/phantomjs',desired_capabilities=cap, service_args=['--ignore-ssl-errors=true'])

driver = webdriver.PhantomJS(desired_capabilities=cap, service_args=['--ignore-ssl-errors=true'])

driver.set_page_load_timeout(60)

driver.set_script_timeout(60)

return driver

其中，获取网页html

#初始化创建浏览器

driver = init_drive()

driver.get(url)

html = driver.page_source

#退出浏览器

driver.quit()

3.根据url获取网页Html函数

#coding:utf-8

import requests, json, time, re, os, sys, time

import urllib2

import random

import numpy as np

#设置为utf-8模式

reload(sys)

sys.setdefaultencoding( "utf-8" )

#最终获取url的数据

def getHtml(url):

ua_list = ["Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv2.0.1) Gecko/20100101 Firefox/4.0.1","Mozilla/5.0 (Windows NT 6.1; rv2.0.1) Gecko/20100101 Firefox/4.0.1","Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11","Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"]

user_agent = random.choice(ua_list)

request = urllib2.Request(url)

request.add_header("User-Agent",user_agent)

response = urllib2.urlopen(request,data=None,timeout=60)

html = response.read()

#可以根据编码格式进行编码

#html = unicode(html,'utf-8')

return html

4.获取时间的不同格式

import time

import sys

import os

import shutil

import MySQLdb

import urllib2

from pyquery import PyQuery as pq

from lxml import etree

import urllib

import sys

import httplib

import datetime

import json

from selenium import webdriver

from urlparse import urljoin

httplib.HTTPConnection._http_vsn = 10

httplib.HTTPConnection._http_vsn_str = 'HTTP/1.0'

#设置utf-8模式

reload(sys)

sys.setdefaultencoding( "utf-8" )

#获取常用时间格式的函数

#'%Y-%m-%d' 2017-11-18

#'%Y%m%d' 20171118

#%Y%m%d%H' 2017111817

#空或其他 2017-11-18 17:26:35

def getTime(*format):

now = ''

try:

format = format[0]

except :

pass

if format == '%Y-%m-%d':

now = time.strftime('%Y-%m-%d',time.localtime(time.time()))

elif format == '%Y%m%d':

now = time.strftime('%Y%m%d',time.localtime(time.time()))

elif format == '%Y%m%d%H':

now = time.strftime('%Y%m%d%H',time.localtime(time.time()))

else :

now = time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))

return now

5.连接Mysql执行sql语句

import time

import sys

import os

import shutil

import MySQLdb

import urllib2

from pyquery import PyQuery as pq

from lxml import etree

import urllib

import sys

import httplib

import datetime

import json

from selenium import webdriver

from urlparse import urljoin

httplib.HTTPConnection._http_vsn = 10

httplib.HTTPConnection._http_vsn_str = 'HTTP/1.0'

#设置utf-8模式

reload(sys)

sys.setdefaultencoding( "utf-8" )

#定义MySql数据库连接

def conn_mysql(host='192.168.11.43',user='root',passwd='root',db='edw'):

conn = ''

try:

conn= MySQLdb.connect(

host= host,

port = 3306,

user=user,

passwd=passwd,

db =db,

)

#print "连接mysql成功"

except :

#pass

print "连接mysql失败"

return conn

#执行sql语句返回结果

def excute_sql(conn,sql):

#conn = conn_mysql(host='192.168.122.194',user='root',passwd='123456',db='label')

cur = conn.cursor()

cur.execute('set character_set_client = utf8')

cur.execute('set character_set_server = utf8')

cur.execute('set character_set_connection = utf8')

cur.execute('set character_set_results = utf8')

cur.execute('set collation_connection = utf8_general_ci')

cur.execute('set collation_server = utf8_general_ci')

result = cur.fetchmany(cur.execute(sql))

cur.close()

conn.commit()

conn.close()

return result

Python 常用string函数

Python 常用string函数 字符串中字符大小写的变换 1. str.lower()   //小写>>> 'SkatE'.lower()'skate' 2. str.upper ...

python——常用功能之文本处理

前言 在生活.工作中,python一直都是一个好帮手.在python的众多功能中,我觉得文本处理是最常用的.下面是平常使用中的一些总结.环境是python 3.3 0. 基础 在python中,使用s ...

16个python常用魔法函数

==,is的使用 ·is是比较两个引用是否指向了同一个对象(引用比较). ·==是比较两个对象是否相等 1.__ init__(): 所有类的超类object,有一个默认包含pass的__ init ...

python常用魔法函数

1.__init__(): 所有类的超类object,有一个默认包含pass的__init__()实现,这个函数会在对象初始化的时候调用,我们可以选择实现,也可以选择不实现,一般建议是实现的,不实现对 ...

C#常用功能函数小结(.NET 4.5)

今天有空,把C#常用的功能总结一下,希望对您有用.(适用于.NET Framework 4.5) 1. 把类转换为字符串(序列化为XML字符串,支持xml的namespace) using Syste ...

Python常用高级函数

一 .匿名函数 有些时候,我们不需要显式的定义函数,可以使用匿名函数临时快速定义函数. lambda x: x * x 关键字lambda表示匿名函数,冒号前面的x表示函数的参数,多个参数用','隔开 ...

Python常用数据处理函数

1.基本统计特征函数 方法名 函数功能 所属库 使用格式 sum() 计算数据样本综合(按列计算) Pandas D.sum() mean() 计算数据样本算数平均数 Pandas D.mean() ...

python常用功能总结

经常写python,但很多小的点都记不住,每用必查,总结下来,下次查自己的吧. 1.时间获取: import time print  time.strftime("%Y-%m-%d %H:% ...

随机推荐

HackerRank Ice Cream Parlor

传送门 Ice Cream Parlor Authored by dheeraj on Mar 21 2013 Problem Statement Sunny and Johnny together ...

JavaScript动态操作style

1.易错:修改元素的样式不是设置class属性,而是className属性.class是JS的一个保留关键字. 2.易错:单独修改样式的属性使用"style.属性名"3.注意在cs ...

使用msys

下载地址:http://msys2.github.io/ 更新:pacman -Syu 安装git:pacman -S git 或者使用cygwin 调色:编辑~/.minttyrc Foregrou ...

用Vim 加密文本

Vim强大就在于 可以干任何想要做的事情,比如加密.Fedora 18上给大家做一个测试.首先安装 vim: sudo yum install vim -y然后检验模块是否有加密: vim --ver ...

MYSQL-联合索引

深入理解 index merge 是使用索引进行优化的重要基础之一.理解了 index merge 技术,我们才知道应该如何在表上建立索引. 1. 为什么会有index merge 我们的 where ...

php 守护进程(Daemon)

守护进程(daemon)是一类在后台运行的特殊进程,用于执行特定的系统任务. 很多守护进程在系统引导的时候启动,并且一直运行直到系统关闭. 守护进程一直在后台运行,脱离终端运行的程序 独立运行的守护进 ...

'QueryDict' object is not callable 错误解析

我把request内置库和 requests库  给搞混了 requests使用来发送请求的, request 而是用来获取数据的 别看只有一个单词只差,却让我找了大半天 requests.post( ...

论文类型Journal、magazin、transaction、letter等的区别

论文类型Journal.magazin.transaction.letter等的区别 http://blog.sina.com.cn/s/blog_5420e0000101a66m.html (201 ...

CSS3中和动画有关的属性transform、transition 和 animation

CSS3中和动画有关的属性有三个  transform. transition 和 animation.下面来一一说明:        transform     从字面来看transform的释义为 ...

PAT 1005 Spell It Right

1005 Spell It Right (20 分)   Given a non-negative integer N, your task is to compute the sum of all ...